U-21 Anh

Sau khi thi đấu cho U-15 và U-17 Anh, Milner được thăng cấp lên U20 Anh và được gọi lên thi đấu ở Giải vô địch trẻ thế giới 2003. Ngay sau đó, huấn luyện viên của U-21 Anh là Peter Taylor đã gọi anh lên tuyển và Milner xuất hiện lần đầu trong trận gặp Thụy Điển ngày 30 tháng 3 năm 2004.[73]

Milner ghi bàn thắng đầu tiên cho U-21 Anh trong mùa giải 2004-05 ở một trận đấu vòng loại Giải vô địch bóng đá U-21 châu Âu 2007 trước Wales. Trong trận đấu, anh chơi ở trung tâm hàng tiền vệ, anh cũng kiến tạo một cơ hội ghi bàn cho Darren Bent và giúp những chú "Sư tử trẻ" thắng 2-0.[74] Mặc dù câu lạc bộ trong nước gặp khó khăn, anh vẫn tiếp tục đạt tiến bộ ở cấp độ quốc tế, khi ghi được các bàn thắng ấn định tỉ số 3-2 U21 Anh trước Thụy Sĩ. Chiến thắng này giúp U21 Anh đảm được một xuất trong giai đoạn playoff của Vòng loại Giải vô địch bóng đá U-21 châu Âu 2007.[75]

Vào tháng 6, Milner thi đấu cho đội tuyển U-21 Anh tại Giải vô địch bóng đá U-21 châu Âu 2007. Anh chơi ở tất cả bốn trận đấu của U-21 Anh và bị phạt thẻ vàng trong trận bán kết gặp Hà Lan, có nghĩa là anh sẽ phải bỏ lỡ trận chung kết. Trận đấu đã được quyết định bởi loạt đá luân lưu, trong đó Milner ghi hai bàn và U21 Anh thua với tỉ số 13-12.[76] Màn trình diễn ở U-21 của Milner trong giải đấu đã dẫn đến tin đồn rằng anh sẽ ra mắt đội tuyển Anh trong trận giao hữu với Đức, nhưng cuối cùng anh đã không có trong đội hình thi đấu ở trận này.[77] Tuy nhiên anh đã có mặt trong đội hình U-21 cho trận giao hữu với România, kết thúc với tỉ số 1-1.[78] Một tháng sau, Milner đã lập một kỉ lục ở U-21 Anh khi xuất hiện lần thứ 30 trong trận thắng 3-0 trước Montenegro. Ở trận đấu này, anh đã kiến tạo bàn thắng đầu tiên từ pha đá phạt góc. Trong lịch sử, các cầu thủ đã từng xuất hiện nhiều trong màu áo U-21 Anh sẽ không xuất hiện thường xuyên ở đội tuyển chính, điều này đã dẫn đến việc một số người nghi ngờ liệu Milner sẽ có thể thực hiện thành công việc chuyển tiếp lên chơi ở đội tuyển Anh.[79] Trong tháng 10, anh ghi bàn thắng thứ ba của anh cho U-21 trong trận thắng 3-0 trước Cộng hòa Ireland.[80] Anh tiếp tục ghi bàn ở trận đấu mà anh đã trở lại vào bốn tháng sau và U21 Anh cũng giành thắng lợi 3-0.[81]

Milner tiếp tục là một cầu thủ thường xuyên có tên trong danh sách và được ra sân, cùng với Joe Hart và đội trưởng Steven Taylor, đã chơi tất cả các trận đấu trong vòng loại Giải vô địch châu Âu. Trong mùa hè năm 2009, anh được điền tên trong danh sách 23-người để cùng đội tuyển U-21 Anh thi đấu Giải vô địch bóng đá U-21 châu Âu được tổ chức tại Thụy Điển. Anh đã kiến tạo một bàn thắng cho Micah Richards trong trận đấu với Phần Lan, và Huấn luyện viên Stuart Pearce đã cho biết sau trận đấu rằng "Hậu vệ cánh thời nay có thể chạy lên và lùi xuống trên sân và tôi biết Milner sẽ được thoải mái ở đây".[82] Trong trận đấu thứ hai của đội tuyển Anh với Tây Ban Nha, Milner đã có được một quả penalty sau khi bị phạm lỗi bởi thủ thành Sergio Asenjo, và cũng chính anh ghi bàn thắng thứ hai trong trận thắng 2-0 của U-21 Anh.[83] U-21 Anh phải đối mặt với đội chủ nhà Thụy Điển ở bán kết. Trong những phút đầu tiên của trận đấu, Milner đã thực hiện một pha đá phạt góc và được Martin Cranie đánh đầu để giúp U-21 Anh dẫn trước. Một pha đá phạt góc khác của Milner cũng mang về bàn thắng thứ ba của U-21 Anh, một bàn thắng phản lưới nhà của Mattias Bjärsmyr. Sau khi trận đấu kết thúc với kết quả hòa 3-3, hai đội đã phải đi đến loạt đá luân lưu cân não. Xui xẻo thay, Milner chính là cầu thủ Anh duy nhất thực hiện không thành công loạt luân lưu sau khi anh bị mắc lỗi trước khi đá bóng, nguyên nhân khiến cho quả bóng bay vọt xà ngang. Thật may mắn vì sau đó U-21 Anh đã chiến thắng ở loạt đá luân lưu với tỉ số 5-4 để tiến vào trận chung kết lần đầu tiên sau 25 năm.[84] Sau đó, U-21 Anh đã thảm bại trước Đức với tỉ số 4-0 [85]. Trận chung kết đó cũng là trận đấu cuối cùng anh thi đấu cho U-21 Anh.

Đội tuyển Anh

Trong tháng 8 năm 2009, Milner có trận ra mắt đội tuyển Anh khi anh vào sân thay người trong trận giao hữu gặp Hà Lan trong 23 phút cuối cùng. Sau khi vượt qua hậu vệ John Heitinga, anh đã thực hiện một cú tạt cánh tầm thấp vào trong, từ đó tiền đạo Jermain Defoe ghi bàn từ cự ly gần để rút ngắn tỉ số xuống còn 2-2. Milner cũng cung cấp một cú tạt cánh tầm cao khác cho Defoe về sau trận đấu nhưng đáng tiếc anh đã đánh đầu vọt xà ngang. Trận đấu kết thúc với trận hòa 2-2.[86] Anh chơi thêm hai lần nữa cho đội tuyển Anh vào tháng tiếp theo trong trận đấu với Slovenia trong một trận đấu giao hữu khác và xuất hiện lần đầu tiên ở giải đấu cạnh tranh cao cấp bốn ngày sau đó trong một trận đấu ở vòng loại World Cup với Croatia, nơi anh chơi trong vòng chín phút cuối cùng. Đội tuyển Anh thắng trận thứ hai với tỉ số 5-1 để đảm bảo đủ điều kiện dự World Cup 2010.

World Cup 2010

Ngày 2 tháng 6 năm 2010 Milner đã có tên trong đội hình 23 người cuối cùng cho vòng chung kết World Cup tại Nam Phi. Anh được lựa chọn trong trận đấu mở màn của đội tuyển Anh ở giải đấu với đội tuyển Mỹ, tuy nhiên James bị thay ra ở phút thứ 30 và vào sân là Wright-Phillips, trận đấu kết thúc với tỉ số hòa 1-1.[87] Ở trận đấu cuối cùng của đội tuyển Anh tại bảng C trước Slovenia vào ngày 23 tháng 6, Milner đã bứt phá tốc độ rồi tạt cánh vào trong cho Jermain Defoe đệm bóng cận thành ghi bàn thắng duy nhất của trận đấu và giúp "Tam Sư" bước tiếp vào vòng trong.[88] Đáng tiếc sau đó đội tuyển Anh đã để thua 1-4 trước Đức ở vòng 16 đội và đành ngậm ngùi nói lời chia tay World Cup 2010.[89] Anh mang băng đội trưởng đội tuyển Anh lần đầu tiên trong trận thua 1-2 trước Pháp ngày 17 tháng 11 năm 2010 ở 10 phút cuối của trận đấu khi lần lượt các đội trưởng Rio Ferdinand và Steven Gerrard được thay ra sân.[90]

Ngày 8 tháng 9 năm 2012, Milner có bàn thắng đầu tiên trong màu áo đội tuyển quốc gia trong chiến thắng 5-0 trước Moldova tại Vòng loại World Cup 2014.[91]

Ngày 5 tháng 8 năm 2016, sau kì Euro 2016 không thành công của đội tuyển Anh (thất bại trước Iceland với tỉ số 1-2 ở vòng 16 đội), James Milner chính thức tuyên bố chia tay đội tuyển quốc gia sau 7 năm gắn bó, tổng cộng anh đã 61 lần ra sân và có được 1 bàn thắng.